今天在使用Selenuim+PhantomJS动态抓取网页时，出现如下报错信息： 　　 　　意思就是Selenuim已经放弃PhantomJS，了，建议使用火狐或者谷歌无界面浏览 ...

　　 selenium并不是万能的，有时候页面上操作无法实现的，这时候就需要借助JS来完成了。 　　当页面上的元素超过一屏后，想操作屏幕下方的元素，是不能直接定位到，会报元素不可见的。这时候需要借助 ...

　　有的页面会使用frame 框架，使用Selenium + PhantomJS 后并不会加载iframe 框架中的网页内容。iframe 框架相当于在页面中又加载了一个页面，需要使用Selenium ...

　　解决方案： 　　 　　 　其中“–no-sandbox”参数是让Chrome在root权限下跑“–headless”参数是不用打开图形界面可以额外加这些参数获得更好体验 ...

　　webdriver提供了丰富的API，有多种定位策略：id,name,css选择器，xpath等，其中css选择器定位元素效率相比xpath要高些，使用id，name属性定位元素是最可靠，效率最高 ...

　　在爬虫中，有时会遇到这种情况，数据的展示是不是一页一页的，而是通过不断的下拉滚动条来加载数据。例如一点咨询（http://www.yidianzixun.com/）和微博（在未登录的状态下：htt ...

　　借助搜索微信搜索引擎进行抓取 　　抓取过程 　　1、首先在搜狗的微信搜索页面测试一下，这样能够让我们的思路更加清晰 　　 　　　　在搜索引擎上使用微信公众号英文名进行“搜公众号”操作（因为 ...

接着上一遍，在用Selenium+phantomjs 抓取数据过程中发现，有时候抓取不到，所以又测试了用Selenium+浏览器驱动的方式：具体代码如下： ...

　　在response =requests.get(url)打开一个https连接时报如下错误： 　　urllib.error.URLError: <urlopen error [SSL: C ...

　　最近测试原来的爬虫程序，发现phantomjs 无法打开https网站了，经过网上查下，发现需要在phantomjs定义的加以下参数 　　self.driver = webdriver.Phan ...